热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

简便性|存量_ElasticsearchElasticsearch8.X;Elasticsearch8.X集群

篇首语:本文由编程笔记#小编为大家整理,主要介绍了Elasticsearch-Elasticsearch8.X;Elasticsearch8.X集群相关的知识,希望对你有一定的参考价值。

篇首语:本文由编程笔记#小编为大家整理,主要介绍了Elasticsearch - Elasticsearch 8.X;Elasticsearch 8.X集群相关的知识,希望对你有一定的参考价值。



阅读本文前可先参考

Elasticsearch - Elasticsearch详解;安装部署(一)_MinggeQingchun的博客-CSDN博客

Elasticsearch - Elasticsearch集群Cluster(三)_MinggeQingchun的博客-CSDN博客




一、Elasticsearch 8.X 

距 2019 年 Elasticsearch 上一大版本 7.0 发布至今已经过去了 3 年

2022 年 2 月 11 日,Elasticsearch 发布了全新的 8.0 正式版本,新版本中通过改进 Elasticsearch 的矢量搜索功能、对现代自然语言处理模型的原生支持、不断简化的数据上线过程,以及精简的安全防护体验,在速度、扩展幅度、相关 性和简便性方面,让搜索引擎技术迎来了一个全新的时代!


Elasticsearch 新特性

1、减少内存堆使用,完全支持 ARM 架构,引入全新的方式以使用更少的存储空间,从而让每个节点托管更多的数据

2、降低查询开销,在大规模部署中成效尤为明显

3、提高日期直方图和搜索聚合的速度,增强了页面缓存的性能,并创建了一个新的 “pre-filter”搜索短语

在最新发布的 8.0 版本中,增加和完善了很多新的功能

4、增加对自然语言处理 (NLP) 模型的原生支持,让矢量搜索功能更容易实现,让客户和员工能够使用他们自己的文字和语言来搜索并收到高度相关的结果

5、直接在 Elasticsearch 中执行命名实体识别、情感分析、文本分类等,而无需使用额外 的组件或进行编码

6、Elasticsearch 8.0 基于 Lucene 9.0 开发的,那些利用现代 NLP 的搜索体验,都可以借助(新增的)对近似最近邻搜索的原生支持,快速且大规模地实现。通过 ANN,可以快速并高效地将基于矢量的查询与基于矢量的文档语料库(无论是小语料库、大语料库还是巨型语料库)进行比较

7、可以直接在 Elasticsearch 中使用 PyTorch Machine Learning 模型(如 BERT),并在Elasticsearch 中原生使用这些模型执行推理



二、Elasticsearch 8.X 安装使用

(一)Elasticsearch 与 Java版本选择推荐及总结


Elasticsearch 和 JVM 支持矩阵

支持矩阵 | Elastic


Elasticsearch(5.x、6.x、7.x、8.x)的兼容性

支持矩阵 | Elastic


1、ES 7.x 及之前版本,选择 Java 8

2、ES 8.x 及之后版本,选择 Java 17 或者 Java 18,建议 Java 17,因为对应版本的 Logstash 不支持 Java 18

(1)对于ES 8.0:Java版本仅支持 Java 17,别无选择

(2)对于ES 8.1及以上版本:支持Java 17 以及 Java 18,建议 Java 17,因为对应版本的Logstash 不支持 Java 18

3、Java 9、Java 10、Java 12 和 Java 13 均为短期版本,不推荐使用

4、M1(Arm) 系列 Mac 用户建议选择 ES 7.8.x 以上版本,因为考虑到 ELK 不同产品自身兼容性,7.8.x以上版本原生支持 Arm 原生 JDK


(二)Java 17安装下载

Elasticsearch是使用Java开发的,8.1版本的ES需要JDK17及以上版本。默认安装包中带有JDK环境,如果系统配置ES_JAVA_HOME环境变量,那么会采用系统配置的.JDK。如果没有配置该环境变量,ES会使用自带捆绑的JDK。虽然自带的JDK是 ES软件推荐的Java版本,但一般建议使用系统配置的JDK 


Java官网地址:

Java Software | Oracle

Java 软件 | Oracle 中国


Java下载地址:

Java Downloads | Oracle


Java所有版本下载地址:

JDK Release Notes

可参考

Java--Java版本和JDK版本_MinggeQingchun的博客-CSDN博客_java最新版本是多少



(三)Elasticsearch8.1 集群安装下载

注:



1、因博主未升级JDK1.8至JDK17、JDK18;但是ES7.16.X是能兼容JDK1.8和JDK17、JDK18的,因此以安装ES7.16.0为例


2、博主通过虚拟机VMware Workstations仅安装2台配置ES集群


可参考

Elasticsearch - Elasticsearch集群Cluster(三)_MinggeQingchun的博客-CSDN博客


Elasticsearch官网地址:

免费且开放的搜索:Elasticsearch、ELK 和 Kibana 的开发者 | Elastic


Elasticsearch下载地址: 

Past Releases of Elastic Stack Software | Elastic



1、集群搭建规划

准备三台 linux 虚拟机,用于配置 Elasticsearch 集群;启动集群后


主机名esLinux1esLinux2
进程名Elasticsearch (es-node-1)Elasticsearch (es-node-2)

2、上传压缩包,解压

将 elasticsearch-7.16.0-linux-x86_64.tar.gz 上传至 目标目录 /opt/software

执行解压缩命令 

tar -zxvf elasticsearch-7.16.0-linux-x86_64.tar.gz -C /opt/software/

目录结构如下


3、配置JDK

当前安装Elasticsearch版本为7.16.0,自带JDK,无需配置Java环境


4、创建 linux 新用户 es, 数据文件,证书目录, 并修改 Elasticsearch 文件拥有者

注:

因为安全问题,Elasticsearch 不允许 root 用户直接运行,所以要创建新用户,在 root 用户中创建新用户

# 新增 es 用户
useradd es
# 为 es 用户设置密码
passwd es
# 创建数据文件目录
mkdir /opt/software/elasticsearch-7.16.0/data
# 创建证书目录
mkdir /opt/software/elasticsearch-7.16.0/config/certs
#切换目录
cd /opt/software/elasticsearch-7.16.0
# 修改文件拥有者
chown -R es:es /opt/software/elasticsearch-7.16.0

5、在第一台服务器节点 es-node-1 设置集群多节点通信密钥

# 切换用户
su es
# 签发 ca 证书(过程中需按两次回车键)
bin/elasticsearch-certutil ca
# 用 ca 证书签发节点证书(过程中需按三次回车键)
bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12
# 将生成的证书文件移动到 config/certs 目录中
mv elastic-stack-ca.p12 elastic-certificates.p12 config/certs

  


6、在第一台服务器节点 es-node-1 设置集群多节点 HTTP 证书

# 签发 Https 证书
bin/elasticsearch-certutil http

以下是每次要求输入时,需要输入的内容 


指定证书路径





无需输入密码





设置证书失效时间





无需每个节点配置证书


输出连接到第一个节点的所有主机名称





输出连接到第一个节点的所有主机
IP
地址





不改变证书选项配置


不给证书加密,按键输入两次回车





解压刚刚生成的
zip




# 解压文件
unzip elasticsearch-ssl-http.zip


将解压后的证书文件移动到
config/certs
目录中



# 移动文件
mv elasticsearch/http.p12 kibana/elasticsearch-ca.pem config/certs




7、修改主配置文件:config/elasticsearch.yml


# 设置 ES 集群名称
cluster.name: es-cluster
# 设置集群中当前节点名称
node.name: es-node-1
# 设置数据,日志文件路径
path.data: /opt/software/elasticsearch-7.16.0/data
path.logs: /opt/software/elasticsearch-7.16.0/logs
# 设置网络访问节点
network.host: esLinux1
# 设置网络访问端口
http.port: 9200
# 初始节点
discovery.seed_hosts: ["esLinux1"]
# 安全认证
xpack.security.enabled: true
xpack.security.enrollment.enabled: true
xpack.security.http.ssl:
enabled: true
keystore.path: /opt/software/elasticsearch-7.16.0/config/certs/http.p12
truststore.path: /opt/software/elasticsearch-7.16.0/config/certs/http.p12
xpack.security.transport.ssl:
enabled: true
verification_mode: certificate
keystore.path: /opt/software/elasticsearch-7.16.0/config/certs/elastic-certificates.p12
truststore.path: /opt/software/elasticsearch-7.16.0/config/certs/elastic-certificates.p12
# 此处需注意,es-node-1 为上面配置的节点名称
cluster.initial_master_nodes: ["es-node-1"]
http.host: [_local_, _site_]
ingest.geoip.downloader.enabled: false
xpack.security.http.ssl.client_authentication: none


8、启动ES 

# 启动 ES 软件
bin/elasticsearch

注:

第一次成功启动后,会显示密码,请记住,访问时需要。只有第一次才有!!!

如果 没有注意到或没有找到账号密码,可以设置免密登录:

# Enable security features
xpack.security.enabled: false

✅ Elasticsearch security features have been automatically configured!
✅ Authentication is enabled and cluster connections are encrypted.
ℹ️ Password for the elastic user (reset with `bin/elasticsearch-reset-password -u elastic`):
密码xxxxx
❌ Unable to generate an enrollment token for Kibana instances, try invoking `bin/elasticsearch-create-enrollment-token -s kibana`.
ℹ️ Configure other nodes to join this cluster:
• On this node:
⁃ Create an enrollment token with `bin/elasticsearch-create-enrollment-token -s node`.
⁃ Uncomment the transport.host setting at the end of config/elasticsearch.yml.
⁃ Restart Elasticsearch.
• On other nodes:
⁃ Start Elasticsearch with `bin/elasticsearch --enrollment-token `, using the enrollment token that you generated.

9、 访问服务器节点 https://虚拟机地址:9200


10、修改集群中其他节点的配置文件:config/elasticsearch.yml

证书直接拷贝,其他步骤完全相同,配置文件中修改如下内容即可

# 设置节点名称
node.name: es-node-2
# 设置网络访问主机
network.host: esLinux2


(四)踩坑


1、main ERROR Unable to invoke factory method in class org.apache.logging.log4j.core.appender.RollingFileAppender for element RollingFile

main ERROR Unable to invoke factory method in class org.apache.logging.log4j.core.appender.RollingFileAppender for element RollingFile: java.lang.IllegalStateException: No factory method found for class org.apache.logging.log4j.core.appender.RollingFileAppender java.lang.IllegalStateException: No factory method found for class org.apache.logging.log4j.core.appender.RollingFileAppender


原因:

在安装elasticsearch时,新建的logs目录是用root用户建的,因此,logs下的文件是root用户权限,因此,将该权限改为非root用户即可


解决方法:修改权限 

su root
cd /opt/software/elasticsearch-7.16.0/
chown -R es ./logs/
chgrp -R es ./logs/



2、被自动killed


原因:

Elasticsearch在启动过程中被自动killed,是内存不够了,由于ES是运行在JVM上,JVM本身除了分配的heap内存以外,还会用到一些堆外(off heap)内存。 在小内存的机器上跑ES,如果heap划分过多,累加上堆外内存后,总的JVM使用内存量可能超过物理内存限制。 如果swap又是关闭的情况下,就会被操作系统oom killer杀掉


解决办法:

修改ES中目录下的config/jvm.options文件


-Xms4g
-Xmx4g
改为
-Xms1g
-Xmx1g


推荐阅读
  • Asynchronous JavaScript and XML (AJAX) 的流行很大程度上得益于 Google 在其产品如 Google Suggest 和 Google Maps 中的应用。本文将深入探讨 AJAX 在 .NET 环境下的工作原理及其实现方法。 ... [详细]
  • 本文探讨了如何在PHP与MySQL环境中实现高效的分页查询,包括基本的分页实现、性能优化技巧以及高级的分页策略。 ... [详细]
  • 本文详细介绍了如何利用 Bootstrap Table 实现数据展示与操作,包括数据加载、表格配置及前后端交互等关键步骤。 ... [详细]
  • 流处理中的计数挑战与解决方案
    本文探讨了在流处理中进行计数的各种技术和挑战,并基于作者在2016年圣何塞举行的Hadoop World大会上的演讲进行了深入分析。文章不仅介绍了传统批处理和Lambda架构的局限性,还详细探讨了流处理架构的优势及其在现代大数据应用中的重要作用。 ... [详细]
  • 深入理解云计算与大数据技术
    本文详细探讨了云计算与大数据技术的关键知识点,包括大数据处理平台、社会网络大数据、城市大数据、工业大数据、教育大数据、数据开放与共享的应用,以及搜索引擎与Web挖掘、推荐技术的研究及应用。文章还涵盖了云计算的基础概念、特点和服务类型分类。 ... [详细]
  • 深入探讨:Actor模型如何解决并发与分布式计算难题
    在现代软件开发中,高并发和分布式系统的设计面临着诸多挑战。本文基于Akka最新文档,详细探讨了Actor模型如何有效地解决这些挑战,并提供了对并发和分布式计算的新视角。 ... [详细]
  • 独家解析:深度学习泛化理论的破解之道与应用前景
    本文深入探讨了深度学习泛化理论的关键问题,通过分析现有研究和实践经验,揭示了泛化性能背后的核心机制。文章详细解析了泛化能力的影响因素,并提出了改进模型泛化性能的有效策略。此外,还展望了这些理论在实际应用中的广阔前景,为未来的研究和开发提供了宝贵的参考。 ... [详细]
  • 2019年斯坦福大学CS224n课程笔记:深度学习在自然语言处理中的应用——Word2Vec与GloVe模型解析
    本文详细解析了2019年斯坦福大学CS224n课程中关于深度学习在自然语言处理(NLP)领域的应用,重点探讨了Word2Vec和GloVe两种词嵌入模型的原理与实现方法。通过具体案例分析,深入阐述了这两种模型在提升NLP任务性能方面的优势与应用场景。 ... [详细]
  • Android 中的布局方式之线性布局
    nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]
  • 七大策略降低云上MySQL成本
    在全球经济放缓和通胀压力下,降低云环境中MySQL数据库的运行成本成为企业关注的重点。本文提供了一系列实用技巧,旨在帮助企业有效控制成本,同时保持高效运作。 ... [详细]
  • 为何Compose与Swarm之后仍有Kubernetes的诞生?
    探讨在已有Compose和Swarm的情况下,Kubernetes是如何以其独特的设计理念和技术优势脱颖而出,成为容器编排领域的领航者。 ... [详细]
  • H5技术实现经典游戏《贪吃蛇》
    本文将分享一个使用HTML5技术实现的经典小游戏——《贪吃蛇》。通过H5技术,我们将探讨如何构建这款游戏的两种主要玩法:积分闯关和无尽模式。 ... [详细]
  • Docker安全策略与管理
    本文探讨了Docker的安全挑战、核心安全特性及其管理策略,旨在帮助读者深入理解Docker安全机制,并提供实用的安全管理建议。 ... [详细]
  • 知识图谱与图神经网络在金融科技中的应用探讨
    本文详细介绍了融慧金科AI Lab负责人张凯博士在2020爱分析·中国人工智能高峰论坛上的演讲,探讨了知识图谱与图神经网络模型如何在金融科技领域发挥重要作用。 ... [详细]
  • 本文详细介绍了笔记本电脑上多种实用的快捷键,包括屏幕调整、图形设置、分辨率更改、驱动更新、导航操作、音量控制及屏幕锁定等,旨在帮助用户更高效地使用笔记本电脑。 ... [详细]
author-avatar
淘气111006
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有